Энтузиаст Алексей Михайлюк запустил на Эльбрусе чат-бот Alpaca(аналог ChatGPT). В отличие от ChatGPT и большинства других чат-ботов, доступных сегодня, Alpaca может работать на домашнем компьютере и ее можно дообучать.

Alpaca была создана исследовательской группой Стэнфордского университета и во многом похожа на ChatGPT, но построена на языковой модели с открытым кодом LLaMA. В настоящее время существует три основных варианта Alpaca: 7B, 13B и 30B. Скорость Alpaca в основном ограничена компьютером, на котором она работает. На современном компьютере с многоядерным процессором и большим количеством оперативной памяти, можно получить хорошую производительность. На скромном железе потребуется больше времени для генерации ответов.

Энтузиаст произвел сравнение трех процессоров: Эльбрус 8СВ, Эльбрус 16С и Ryzen 7 5800H. Алексей использовал llama.cpp и веса alpaca-7B.
Затем собрал с параметрами -O4 -ffast-math и -O3 на Эльбрусе и Ryzen.
Также на Эльбрус 8СВ добавил
-ftune=elbrus-8c2,
а на Эльбрус 16С
-ftune=elbrus-16c.

Тест скорости проводился следующей командой, которая была предложена пользователем rPman на Хабре.

for a in {1..8};do printf "%s;" $a;./main -t $a -m ./models/ggml-alpaca-7b-q4.bin -s 42 -p "Random joke:" -n 32 2>&1 |grep "llama_print_timings:       eval time" | cut -d "(" -f 2 | grep -o -e "[0-9\.]*" ;done

В первом тесте все три процессора запускались на 8 потоках.

Ниже представлен график производительности(Меньше - лучше).

Так же при помощи энтузиаста entityfx были произведены тесты бенчмарка GGML.

Однопоточный тест

Многопоточный тест

Так же Алексей Михайлюк уточняет что на момент тестов оптимизации кода под Эльбрус не проводилось.